\documentclass[UTF8]{ctexart}
\usepackage{amsmath}
\usepackage{amsthm,amsmath,amssymb}
\usepackage{mathrsfs}
\usepackage{mathrsfs}
\usepackage{graphicx}
\usepackage{subfigure}
\usepackage{epstopdf}
\usepackage{indentfirst}
\usepackage{caption}
\usepackage{float}
\setlength{\parskip}{0.5em}
\pagenumbering{arabic}
% info
\title{AI 第一次作业}
\author{刘本宸 22920202200764}
\date{\today}
\begin{document}
\maketitle
\tableofcontents
\makeatletter %使\section中的内容左对齐
\renewcommand{\section}{\@startsection{section}{1}{0mm}
    {-\baselineskip}{0.5\baselineskip}{\bf\leftline}}
\makeatother
\newpage

\section{Q1:}
\paragraph{思路}

\paragraph{}
要求一组参数(m, c), 使得损失函数(loss) $ \mathbb L(m, c) $ 最小。
最基本的想法就是求偏导数。把loss函数看成变元m和c的多元函数。
所以只需要对m和c分别求偏导数$\frac {\partial \mathbb L}{\partial m}$,
$\frac{\partial \mathbb L}{\partial c}$,分别让他们等于0之后就可以联立方程
最后求出m和c的值。

\paragraph{接下来给出解的过程,已知损失函数：}
\begin{equation}
    \mathbb{L}(m,c) = \frac{1}{n} \sum\limits^n_{i=1}(mx_i+c-y_i)^2
\end{equation}
\paragraph{对其求偏导我们有：}
\begin{equation}
    \begin{cases}
        \frac {\partial \mathbb L}{\partial m}=\frac{2}{n}\sum\limits_{i=1}^nx_i(mx_i+b-y_i)
        \\
        \frac{\partial \mathbb L}{\partial c} =\frac{2}{n}\sum\limits_{i=1}^n(mx_i+b-y_i)
    \end{cases}
\end{equation}
\paragraph{分别令他们等于0并且化简后我们有：}
\begin{equation}
    \begin{cases}
        m\sum\limits^n_{i=1}x_i^2+ c \sum\limits_{i=1}^n x_i = \sum\limits_{i=1}^n y_ix_i
        \\
        m\sum\limits^n_{i=1}x_i + c n = \sum\limits_{i=1}^n y_i
    \end{cases}
\end{equation}
\paragraph{求解该线性方程组可得：}
\begin{large}
    \begin{equation}
        \begin{cases}
            c = \bar x - m  \bar y
            \\
            m = \frac{\sum\limits_{i=1}^{n}{({{x}_{i}}-\bar{x})({{y}_{i}}-\bar{y})}}{\sum\limits_{i=1}^{n}{{{({{x}_{i}}-\bar{x})}^{2}}}}
            =\frac{\sum\limits_{i=1}^{n}x_iy_i - n\bar x \bar y}{\sum\limits_{i=1}^{n}x_i^2- n\bar x^2}
        \end{cases}
    \end{equation}
\end{large}
\paragraph{其中$\bar x$和$\bar y$分别是样本x，y的算数平均值。以上求出的c和m就是我们所需要的。}
\newpage
\section{Q2:}
\paragraph{思路}
\begin{itemize}
    \item 思路1
          \paragraph{}
          利用斜率和直线夹角的角度关系，从已知的损失函数做一个变换，变成新的函数。
          然后从新的函数出发，利用Q1的做法来求导，解方程组，最后得出答案。
          \begin{equation}
              \mathbb L_2(m, c) = \mathbb L(m, c) *\frac{1}{1+m^2}
          \end{equation}
    \item 思路2
          \paragraph{}
          利用直线的极坐标形式进行变换，将待求参数m,c用$\theta$和$\rho$表示（不过这种办法稍微有
          有点麻烦，而且和思路1殊途同归） 。下面给出一部分思路2的步骤，直到逐步变换为思路1的$\mathbb L_2(m, c)$。
          \paragraph{根据直线的两种表示方法我们有：}
          \begin{equation}
              \begin{cases}
                  y = mx + c
                  \\
                  a\rho_i\sin\theta_i + \rho_i\sin\theta_i+c = 0
              \end{cases}
          \end{equation}
          \paragraph{我们可以得到：}
          \begin{equation}
              \mathbb{L}_2^{'}(m, c) = \frac{1}{n}\sum_{i=1}^n\frac{(a\rho_i\sin\theta_i + \rho_i\sin\theta_i+c)^2}{1+a^2}
          \end{equation}
          \paragraph{因此新的损失函数可以从极坐标转化为直角坐标为：}
          \begin{equation}
              \mathbb L_2^{'}(m, c) = \mathbb L(m, c) *\frac{1}{1+m^2}
          \end{equation}
\end{itemize}
\newpage
\paragraph{接下来开始求解新的损失函数对应的参数的解：}
\paragraph{先计算偏导数${\partial \mathbb L}/{\partial c}$}
\begin{equation}
    \frac{\partial \mathbb L}{\partial c} =\frac{2}{n(1+m^2)}\sum\limits_{i=1}^n(mx_i+b-y_i)
\end{equation}
\paragraph{令上面偏导数等于0得到：}
\begin{equation}
    c = \frac{1}{n}\sum\limits_{i=1}^ny_i - m \frac{1}{n}\sum\limits_{i=1}^nx_i
\end{equation}
\paragraph{并且将对应m和c的关系带入到$\mathbb L$中得到：}
\begin{small}
    \begin{equation}
        \mathbb L= \frac{m^2}{1+m^2}\sum\limits_{i=1}^n(x_i-\bar x)^2  +\frac{2m}{(1+m^2)}\sum\limits_{i=1}^n(x_i-\bar x)(y_i - \bar y)+\frac{1}{(1+m^2)}\sum\limits_{i=1}^n(y_i- \bar y)^2
    \end{equation}
\end{small}
\paragraph{令${\partial \mathbb L} / {\partial m}$等于0得到：}
\begin{small}
    \begin{equation}
        m^2\sum\limits_{i=1}^n(x_i-\bar x)(y_i - \bar y)-m\sum\limits_{i=1}^n\left[(x_i-\bar x)^2 - (y_i-\bar y)^2\right]-\sum\limits_{i=1}^n(x_i-\bar x)(y_i - \bar y) = 0
    \end{equation}
\end{small}
\paragraph{最后使用求根公式解得到：}
\begin{equation}
    \begin{cases}
        m =\frac {\sum\limits_{i=1}^n\left[(x_i-\bar x)^2 - (y_i-\bar y)^2\right]+\sqrt{(\sum\limits_{i=1}^n\left[(x_i-\bar x)^2 - (y_i-\bar y)^2\right])^2-4(\sum\limits_{i=1}^n(x_i-\bar x)(y_i - \bar y))^2}} {2\sum\limits_{i=1}^n(x_i-\bar x)(y_i - \bar y)}
        \\
        c = \frac{1}{n}\sum\limits_{i=1}^nx_i - m \frac{1}{n}\sum\limits_{i=1}^ny_i
    \end{cases}
\end{equation}

\newpage
\section{Q3:}
\paragraph{}
可以通过计算两条直线和对应点的残差的方差，我们保留残差方差相对较小的直线，
舍弃掉残差方差相对较大的直线。因为线性回归希望，我们的样本点更均匀的分布在
直线的两端，所以我们就希望残差在0轴上下分布的相对均匀。因此我们选用残差数据的方差
来衡量样本点在直线附近的分布情况。
\paragraph{下面给出残差方差计算公式：}
\begin{large}
    \begin{equation}
        \begin{split}
            s^2 = \frac{1}{n}\sum\limits_{i=1}^n(z_i-\bar z)^2
            \\
            \text{其中 ： }z_i = (y_i - \hat y_i)
        \end{split}
    \end{equation}
\end{large}
\end{document}